Lưu Vân Sơn sinh năm 1947 tại Tân Châu, Thiểm Tây, Lưu từng là một giáo viên tại vùng Nội Mông trước khi được đưa đi lao động trong Cách mạng Văn hóa. Những năm sau đó, ông tiếp tục ở lại công tác tại Nội Mông gần 30 năm từ năm 1968. Năm 1971, Lưu được kết nạp vào Đảng Cộng sản Trung Quốc và được cử đi học ở trường Đảng. Ông từng làm việc với bộ bí thư đoàn trẻ là Hồ Cẩm Đào tại Đoàn Thanh niên và được cho là khá thân cận với vị chủ tịch tương lai của Trung Quốc.

Lưu từng làm phóng viên cho Tân Hoa xã, làm công tác đối ngoại trước khi trở thành Phó bí thư chi bộ.

Đầu những năm 1990, Lưu chuyển tới Bắc Kinh để trở thành Phó trưởng Ban Tuyên truyền Trung ương và làm sau đó làm Trưởng ban.